Python网络爬虫与文本数据分析

课程介绍

在过去的两年间，Python一路高歌猛进，成功窜上“最火编程语言”的宝座。惊奇的是使用Python最多的人群其实不是程序员，而是数据科学家，尤其是社会科学家，涵盖的学科有经济学、管理学、会计学、社会学、传播学、新闻学等等。

大数据时代到来，网络数据正成为潜在宝藏，大量商业信息、社会信息以文本等非结构化、异构型数据格式存储于网页中。非计算机专业背景的人也可借助机器学习、人工智能等方法进行研究。使用网络世界数据进行研究，面临两大难点：

• 数据的获取
• 文本（非结构化）数据的处理与分析

数据获取需要借助Python编程语言设计网络爬虫，而获得的数据中有相当比例数据是非结构化数据，这就需要文本数据分析技术。本次课程参照已发表的社科类的文章，希望帮助大家解决文本分析这最难的两大难点。课程设计的初衷是用最少的时间让大家学到最有用的知识点，降低学习难度。希望学习完本课程后能让各位结合研究需要对自己学科内的文本分析有一个全面深刻的了解，方便各位开展后续研究。

课程试听

课程python语法入门和网络爬虫部分可免费试听，对python感兴趣的童鞋可以收藏观看~

试听

支付成功后，可下载腾讯课堂app或网页端打开腾讯课堂官网，使用微信扫码登录后即可学习

目录

一、准备阶段

1. Win中的Python配置
2. Mac中的Python配置

二、Python语法入门

1. Python跟英语一样是一门语言
2. 数据类型之字符串
3. 数据类型之列表元组集合
4. 数据类型之字典
5. 数据类型之布尔值、None
6. 逻辑语句(if&for&tryexcept)
7. 列表推导式
8. 理解函数
9. 常用的内置函数
10. 内置库文件路径pathlib库
11. 内置库csv文件库
12. 内置库正则表达式re库
13. 初学python常出错误汇总

三、数据采集

1. 网络爬虫原理
2. 网络访问requests库
3. 网页解析pyquery库
4. 实战：大众点评
5. 实战：豆瓣读书
6. 实战：Boss直聘
7. 如何解析json数据
8. 实战: 豆瓣电影
9. 实战: 京东商城
10. 如何用爬虫下载文档及多媒体文件
11. 上市公司定期报告pdf批量下载
12. 爬虫知识点总结
13. 补充-用pandas采集表格数据

四、数据分析

1. Pandas基础知识
2. 数据去重与缺失值处理
3. 合并数据
4. 重塑数据
5. 选取表中指定记录(行)
6. 选取表中指定字段(列)
7. 描述性统计
8. 在表中创建新字段(列)
9. 批操作apply与agg
10. 透视表pivot_table
11. 数据分组groupby
12. 时间序列时间点创建
13. 日期数据的dt属性
14. 日期行索引操作(选取指定日期的数据)
15. 时间序列date_range
16. 时间序列重采样resample
17. 时间序列时间窗口rolling
18. 实战：Kaggle titanic数据集探索性分析
19. 实战：Boss直聘Python岗位分析

五、初识文本分析

1. 文本分析在经管领域中的应用概述(1)
2. 读取不同格式文件中的数据
3. 实战：实战之如何将多个整理到一个excel中
4. 中文分词及数据清洗
5. 实战：词频统计
6. 实战：中文情感分析(词典法)
7. 实战：对excel中的文本进行情感分析
8. 实战：共现法扩展情感词典(领域词典)

六、机器学习与文本分析

1. 了解机器学习
2. 使用机器学习做文本分析的流程
3. scikit-learn机器学习库简介
4. 文本特征抽取(特征工程)
5. 实战：在线评论文本分类
6. 文本相似性计算
7. 实战：使用文本相似性识别变化(政策连续性)
8. 实战：Kmeans聚类算法
9. 实战：LDA话题模型
10. 简化版的LDA
11. 文本分析在经管领域中的应用概述(2)

购买链接

扫码购买

支付成功后，可下载腾讯课堂app或网页端打开腾讯课堂官网，使用微信扫码登录后即可学习